블로그 릴레이 - Amazon Bedrock 커스텀 모델 사용해 보기
2024.11.19안녕하세요. 제조 비지니스 테크놀로지부의 이병현입니다.
본 블로그는 당사의 한국어 블로그 릴레이의 스물두 번째 블로그입니다.
이번 블로그의 주제는 「Amazon Bedrock 커스텀 모델 사용해 보기」 입니다.
Amazon Bedrock 커스텀 모델
상용 서비스들이 제공하는 모델 외에도 직접 커스텀한 모델을 사용하고 싶을 때가 있습니다.
이런 경우 직접 모델을 테스트하기 위한 인프라 설정이 필요한데, 이걸 손쉽게 테스트해 보기 위해 커스텀 모델을 가져와 사용할 수 있는 기능이 존재합니다.
2024/11 현재 지원하는 리전은 버지니아 북부와 오레곤 리전입니다.
또한 지원하는 아키텍처는 Mistral, Mixtral, Flan 과 Llama 시리즈 (Llama 2, Llama3, Llama3.1, and Llama3.2 ) 입니다. 참고해 주세요.
요금 체계
모델을 사용하는 요금과 스토리지 비용이 있습니다. 모델을 사용하여 추론하는 경우 5분 단위로 요금이 청구됩니다.
스토리지 비용도 있기 때문에 사용하지 않을 모델을 삭제 해두는 편이 좋겠네요.
상세한 최신 요금은 링크를 참조해 주세요.
커스텀 모델 가져오기
커스텀 모델을 사용하는 방법은 Amazon S3와 Amazon SageMaker를 이용하는 방법이 있습니다. 이번에는 Amazon S3를 통해 모델을 가져와 사용해 보겠습니다.
모델은 llama-3.2에 한국어를 입힌 llama-3.2-Korean-Bllossom-3B 모델을 이용해 보겠습니다.
저는 huggingface-cli를 통해 파일들을 다운 받아보겠습니다.
huggingface-cli download Bllossom/llama-3.2-Korean-Bllossom-3B
# 다운로드하면 기본적으로 ~/.cache/huggingface 에 저장됩니다. hash 값은 직접 확인해주세요.
aws s3 cp ~/.cache/huggingface/hub/models--Bllossom--llama-3.2-Korean-Bllossom-3B/snapshots/<hash> s3://<bucket_name>/models--Bllossom--llama-3.2-Korean-Bllossom-3B/ --recursive
업로드가 완료되면 Amazon Bedrock에서 모델 가져오기 버튼을 눌러줍니다.
아래의 모델 가져오기 설정에서 모델 가져오기 소스를 Amazon S3 버킷으로 선택하고 업로드하신 폴더를 선택하시면 됩니다.
마지막 서비스 액세스는 새로운 역할을 생성해서 진행해주세요.
그러면 작업에 모델 가져오기가 진행됩니다.
모델 가져오기가 완료되면 아래처럼 가져온 모델이 보여지게 됩니다.
사용해 보기
플레이그라운드에서 Chat/text 메뉴에서 가져온 모델을 직접 사용해 볼 수 있습니다.
가져온 모델이 제대로 동작하는지 확인해보겠습니다.
질문에 답변이 잘 생성되는 것을 확인할 수 있었습니다. 🥳
마무리
기존에 사용할 수 있던 사전 모델들 말고도 오픈 소스 모델들을 직접 학습시켜 테스트 해볼 수 있는 매력적인 기능같습니다.
큰 모델들은 로컬에서 사용하기 어려운 경우, 간단한 설정으로 테스트 해보는 방법으로 유용한 것 같습니다.
다음 스물세 번째 블로그 릴레이는 11월 다섯 번째 주에 공개됩니다.
끝까지 읽어주셔서 감사합니다! 이상, 제조 비지니스 테크놀로지부의 이병현이었습니다.
